A 38 km au sud ouest de Millau, la commune d'Ayssènes se situe au sud du département de l'Aveyron.
Le village est situé au creux des Raspes du Tarn, sur un promontoire rocheux dominant la rivière, au confluent de deux ruisseaux sauvages, le Vernobre et le Coudols qui dégringolent vers les Raspes, défilé schisteux où le Tarn s’est creusé un passage.
La racine celte de son nom USSENA évoque une colline de vignobles.
De fait, autrefois, la vigne couvrait le versant sud des collines rocailleuses sur des terrasses étroites, et la châtaigne se cultivait sur les versants nord.